#imitation learning

3 篇

EXIMO: VLM Guided Exploration of VLA Policies

EXIMO: VLM 引导的 VLA 策略探索

🧭 机器人 VLA 微调 · 探索-模仿-优化

Google DeepMind

提出三阶段（探索-模仿-优化）VLA 微调算法，用 VLM 规划分解任务并配合 residual off-policy RL，显著提升样本效率

📌 工作参考价值（4 点）

可借鉴 VLM 作为规划器分解长程任务：在搜索/推荐 Agent 中，用 LLM 将用户复杂意图拆解为多个可执行子 query 或子步骤，降低单次决策难度。
“探索-模仿-优化”三阶段训练模式：先通过规划引导收集高质量数据（探索），再做监督微调（模仿），最后用离线 RL 优化策略，比直接在线 RL 或纯 BC 更高效，适合 Agent 策略迭代。
Residual off-policy RL 思路：在已有大模型策略上训练残差模块进行 RL 微调，避免全参数 RL 的不稳定，可迁移到 LLM 推荐策略的轻量级在线优化。
用 VLM 生成 intermediate subgoals 指导策略探索，类似在推荐中生成有序的候选集或子任务序列，提升长链路任务的完成率。

Training | 2026-08-19 | HF Daily | score 6/10

反馈操纵正则化：实现离线模仿学习 Agent 对齐

🧭 离线 Agent 对齐 · 模仿学习正则化

University of North Carolina at Charlotte

将评估反馈作为纠正信号融入模仿学习，在序列决策环境中实现离线对齐，最多减少 98% 未对齐行为

📌 工作参考价值（4 点）

在离线推荐策略学习中，可将用户行为序列视为演示，将显式反馈（如评分、停留时长）作为纠正信号，通过类似 FMR 的正则项微调模仿学习模型，提升策略与真实偏好的对齐度。
FMR 的算法无关设计可作为插件直接嵌入现有离线 RL 推荐框架，无需改动原算法结构，降低工程落地门槛。
论文在有限数据和噪声演示下的鲁棒性结果，对稀疏反馈或冷启动推荐场景有借鉴意义，可尝试在数据匮乏时引入反馈正则化稳定训练。
Safety Gymnasium 中定义的对齐评估指标（如约束违反率）可启发推荐系统设计安全约束，避免推荐内容越界（如低质、违规内容），在 Agent 辅助的对话推荐中尤为重要。

Agent | 2026-07-08 | cs.HC | score 6/10

大规模多智能体寻路的局部通信学习

🧭 多智能体协作 · 局部通信学习

提出可学习局部通信模块，通过多轮特征共享增强协作，在不损失可扩展性的前提下大幅提升多智能体寻路性能

📌 工作参考价值（4 点）

局部通信机制设计：仅在邻居智能体间共享特征，大幅降低通信开销，可直接应用于电商仓储机器人调度或配送路径规划，取代全广播式通信。
可扩展的通信架构：通信模块与决策策略解耦，且不随智能体数量增加而牺牲效率，适合大规模商品分拣或城市级配送场景。
预训练 + 通信模块微调：先预训练基础策略，再插入可学习通信模块联合微调，该范式可复用到多 Agent 推荐系统中，通过 Agent 间局部交换特征提升协同推荐效果。
多轮通信增强协商：允许 Agent 在决策前进行多轮信息交换，这一机制可直接借鉴到生成式推荐中的多 Agent 交互，实现商品组合的迭代协商生成。

MultiAgent | 2026-05-11 | HF Daily | score 7/10